





Neuroinformatica 


Nel corso degli ultimi cinque anni si & manifestato, prima 
negli Stati Uniti e ultimamente anche in Italia, un forte 
interesse per la ‘neuroinformatica’. Tale interesse si basa in 
gran parte su una serie di esperimenti che dimostrano le 
proprieta computazionali di reti di semplici dispositivi logici 
(‘reti neuronali’) che simulano alcuni aspetti del 
funzionamento del sistema nervoso animale. Da questi 


esperimenti risulterebbe infatti c’ 
problemi le ‘reti neuronali’ sono 


he per determinate classi di 
pili efficienti delle macchine 


che finora hanno dominato la scena informatica; si osserva 


inoltre che l'implementazione d 


elle reti neuronali in hardware 


elettronico o forse ottico non presenta piu, al giorno d’oggi, 


dei problemi insormontabili. 
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La neurointormatica é giovane: la teo- 
tia & immatura, gli esperimenti non su- 
perano i confini dei ‘mondi giocattolo' 
cosi amati dai pionieri dell’intelligenza 
artificiale, le applicazioni ‘reali’ sono an- 
cora di la da venire. Eppure la nuova di- 


’ gciplina apre delle prospettive affasci- 


nanti non soto dal punto di vista tecno- 
logico ma anche da quello filosofico. Co 
me alt'epoca di Von Neumann e Turing, 
preoccupazioni squisitamente pratiche 
si intrecciano con interrogativi fonda- 
mentali anche se spesso sono impliciti, 
circa \a natura del cervello e del pensie- 
ro umano. 

Fine di questo articolo é di offrire al let- 
tore un quadro sintetico, non-matema- 
tico dello ‘stato dell’arte’, partendo dal- 
le domande cui la neuroinformatica cer- 
ca di offrire una risposta, attraversando 
il territorio poco familiare della neurolo- 
gia e della psicologia sperimentale, dal 
quale ha tratto le sue ipotesi fondamen- 
tali, per approdare infine, dopo un lun- 
go percorso, ai risultati delle uttime spe- 
rimentazioni e alle implementazioni 
hardware. 


PERCHE' LA 'NEUROINFORMATICA’ 


La potenza di calcolo di un computer & 
limitata non solo dall'hardware ma dal- 
l'abilita del programmatore nel formulare 
algoritmi adeguati ai problemi che si de- 
sidera risolvere nonché dall'efficienza 
degli algoritmi medesimi. Nel calcolo 
scientifico Ihardware e gli algoritmi di- 
sponibili hanno consentito nei primi de- 


cenni dell’epoca informatica il raggiun- 
gimento di prestazioni infinitamente su- 
periori a quelle umane. Nel contempo 
la simulazione delle caratteristiche del- 
lintelligenza umana, sogno dei pionie- 
ri, si @ dimostrata pit difficile del previ- 
sto. Oggi siamo costretti ad ammettere 
che esiste una vasta gamma di proble- 
matiche dove perfino animali relativa- 
mente primitivi ottengono prestazioni 
nettamente superior alle pit: potenti del- 
le nostre macchine. Si tratta di proble- 
matiche qualitativamente diverse da 
quelle dell'informatica ‘classica’, la cui 
soluzione richiederebbe, ad avviso dei 
proponenti della neurointormatica, algo- 
ritmi e architetture hardware anch’essi 
qualitativamente diversi. 

Un animale dotato di sistema nervoso 
riceve un flusso di segnali da un gran 
numero di ricettori localizzati nell'occhio, 
negli organi dell’'udito e dell'olfatto, sul- 
la superficie della pelle, all’interno del 
corpo ecc. La selezione naturale assi- 
cura che nella maggior parte dei casi I'a- 
nimale rispondera a questi segnali in 
modo da favorire la propria riproduzio- 
ne. L’animale possiede, si deduce, dei 
meccanismi che determinano un com- 
portamento (uscita) ‘adeguato’ in rispo- 
sta agli stimoli (ingresso) che riceve. Tali 
meccanismi gli consentono di compu- 
tare un’uscita ‘ottimale’ nella presenza 
di un gran numero di vincoli (lo stato del- 
le sue conoscenze e lo stato dei ricetto- 
ri) (1). | meccanismi necessari per risol- 
vere questa classe di problemi sono, a 
tutt'oggi, difficilmente riproducibili su 
computer. 

Immaginiamo un animate con solo 100 
ricettori, ognuno dei quali trasmette un 
segnale con valore 0 o 1. E evidente 
che il numero di possibili configurazioni 
dei ricettori (2! =circa 10%) esclude 
l'uso di una tabella con tutte le possibili 
coppie stimolo-risposta. Con quale mec- 
canismo quindi possiamo spiegare i 
comportamenti ‘razionali’ che si osser- 
vano in animali il cui sisterna sensorio é 
di alcuni ordini di grandezza pil. com- 
plesso di quello del nostro animale im- 
maginario? E da questa domanda e dal- 
l'intuizione dei problemi che pone agli 
informatici, che é nata fa neuroinforma- 
tica. 

Secondo molti sostenitori dell'intelligen- 
za artificiale ‘classica’ un comportamen- 
to ‘intelligente’ si basa quasi per defini- 





1 Questa definizione dei problemi caratteristici 
dell’intelligenza animale é presa da “PDP 
Models and General {ssues in Cognitive 
Science”, D.E. Rumethart and J.L. McClelland 
in “Parallet Distributed Processing”, David E. 
Rumelhart, James L. McClelland and the PDP 
Research Group, MIT Press, 1988. 
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Fig. 1 - Il neurone (da L'homme neuronal, Jean Pierre Changeux, Plural, 1983 


Zione su un processo di inferenza logi- 
ca. 

Utilizzando una serie di regole euri- 
Stiche o deterministiche, preprogram- 
mate oppure apprese dall’esperienza, 
un animale (o un uomo) sarebbe in gra- 
do di determinare la categoria astratta 
(e cioé I'insieme di punti nello spazio del- 
le configurazioni) al quale appartiene lo 
stimolo che ha ricevuto, deducendo 
quindi la risposta adeguata a questa 
classe di stimoli: cosi per esempio da un 
particolare stato dei ricettori si deduce 
la presenza di un predatore e quindi la 
necessita di un comportamento di fuga. 
E evidente che in alcuni particolari do- 
mini gli animali, e in particolare I'uomo, 
utilizzano realmente un processo di in- 
ferenza logica per guidare il proprio 
comportamento (per esempio ne! ragio- 
namento matematico). Secondo i propo- 
nenti della neuroinformatica & comun- 
que implausibile che un meccanismo di 
questo genere possa costituire una spie- 
gazione generale per |'intelligenza ani- 
male e umana. Essi sostengono che 
mentre i processi di inferenza logica 
Ppossono rappresentare una descrizione 
ad alto livello di molti comportamenti ani- 
mali, essi non ne costituiscono il mec- 
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canismo. Si cita l'analogia con le equa- 
zioni della meccanica classica che de- 
scrivono approssimativamente il com- 
portamento degli oggetti macroscopici 
mentre in ultima anatisi tali comporta- 
menti si possono spiegare solo in base 
a una teoria quantistica (2). 

La soluzione di problemi simili a quello 
appena descritto é richiesta non solo 
dall’intelligenza animale ma anche da 
una vasta classe di problemi ‘informati- 
ci’, come per esempio la optical charac- 
ter recognition, it riconoscimento delle 
immagini, la comprensione del linguag- 
gio naturale, la content addressed me- 
mory. Lo sviluppo degli algoritmi neces- 
sari si € dimostrato tuttavia molto diffici- 
le. Fin troppo spesso la definizione espli- 
cita ed esaustiva delle regole richieste 
per determinare l’appartenenza a una 
determinata categoria si rivela un com- 
pito impossibile, a meno di non ricorre- 
re a metodi artificiosi e poco eleganti. Si 
osserva inoltre come man mano che si 
passa da compiti elementari a compiti 
pill complessi le difficolta di programma- 
zione aumentino, mentre la quantita di 
definizioni, regole e risorse di calcolo ri- 
chieste cresce esponenzialmente. 
L'esistenza di animali che risolvono il ge- 
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nere di problema appena descritto nel- 
la vita quotidiana costituisce la dimostra- 
zione empirica della loro computabilita. 
Nello stesso tempo tuttavia le difficolta 
incontrate dai ricercatori di intelligenza 
artificiale hanno messo a nudo le debo- 
lezze di una strategia di ricerca basata 
esclusivamente su metodi inferenziali. 
Obiettivo fondamentale della neuroinfor- 
matica é la ricerca degli algoritmi utitiz- 
Zati dalla natura e l'implementazione de- 
gli stessi su macchine costruite dall’uo- 
mo. 


IPOTES! DI BASE: LEZION! DELLA 
NATURA 


Gli algoritmi che stanno alla base dell’in- 
telligenza animale sono implementati ne! 
cervello. Utilizzando questo hardware, 
oggetto della neurofisiologia, gli anima- 
{i raggiungono le prestazioni che si stu- 
diano nella psicologia sperimentale. | 
modelli neuroinformatici partono da al- 
Cuni risultati di queste due scienze. 





2 Ibid 
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Uneuroni 


\l componente fondamentale del cervel- 
to é il neurone (v. fig. 1). Si osserva che 
mentre i neuroni si differenziano in qual- 
che decina 0 centinaia di diversi tipi, non 
é presente nell'uomo alcun genere di 
Neurone assente negli altri mammiferi 
(3). Alla specializzazione della nostra in- 
telligenza non sembra corrispondere 
quindi una specializzazione altrettanto 
spinta dei componenti hardware di ba- 
se. 

In termini informatici il neurone pud es- 
sere considerato come una elementare 
‘porta logica’. Gili input alla ‘porta’ pro- 
vengono dai ‘ricettori’ del corpo e/o da 
altri neuroni (ogni neurone é collegato 
in media a pit di 104 altri neuroni) e 
vengono raccolti dai dendriti. Esst pos- 
sono svolgere una funzione eccitatoria 
oppure inibitoria secondo le caratteristi- 
che del neurone dal quale vengono ge- 
nerati: i segnali eccitatori aumentano il 
‘tivello di attivazione’ del neurone rice- 
vente, mentre quelli inibitori lo deprimo- 
no. L'uscita del neurone, trasmessa lun- 
go |'assone, 0 fibra nervosa, assume la 
forma di un flusso di impulsi, la cui fre- 
quenza si calcola come una funzione del 
livello di attivazione. Si osserva che la 
frequenza massima degli impulsi gene- 
rati é relativamente bassa (circa un cen- 
tinaio di impulsi al secondo). Il contenu- 
to di informazione é quindi poco eleva- 
to e sicuramente insufficiente per con- 
sentire la trasmissione di dati comples- 
si. 


Le sinapsi 


Ogni neurone é separato dalle termina- 
zioni degli assoni di altri neuroni da uno 
spazio di circa 200 nanometri, la cosid- 
detta sinapsi. La comunicazione di im- 
pulsi da un neurone a un altro richiede 
la trasmissione dt un segnale chimico o 
elettrico attraverso la sinapsi; l'efficacia 
della trasmissione determina lintensita 
del segnale ricevuto. E stato ipotizzato 
che nella cosiddetta memoria a lungo 
termine vengono rafforzati i collegamenti 
fra neuroni le cui attivita sono correlate, 
mentre quelli fra neuroni non correlati si 
indeboliscono (4). In alcuni animali pri- 
mitivi tali effetti sono stati osservati spe- 
rimentalmente (5). Si osserva come in 
base a questo meccanismo Ia sinapsi 
non faccia altro che modulare i segnali 
fra i neuroni. La quantita di informazio- 
ni codificabili in una sola sinapsi é limi- 
tata quindi dal basso contenuto informa- 
tivo di quest’ultimi. La memorizzazione 
di informazioni complesse (una immagi- 
ne, un concetto) richiederebbe neces- 
sariamente la modifica di molte sinapsi. 
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Fig. 2 - Sia N I’insieme dei neuroni che costituisce fa rete. 
Sia N,+ it j-esimo neurone al quale il neurone N, ¢ connesso attraverso una sinapsi 


eccitatoria. 


Sia Nir il j-esimo neurone al quale if neurone N, 6 connesso attraverso una sinapsi 


inibitoria. 


Lo stato del neurone N, si descrive con la 


s(NJ=1 se 0 s (Nj +) >t 
el s(Nrp)=0 

altrimenti 

s (N)=0 


dove t; é i! valore di soglia per il neurone N,. 


L'ipotesi di un meccanismo ‘diffuso’ per 
la memoria € confortata dagli esperi- 
menti di Karl Lashley negli anni quaranta 
che dimostrarono come una lesione ce- 
rebrale ben localizzata non annulli le ca- 
pacita di un ratto nel compiere un com- 
pito precedentemente appreso; it degra- 
do delle prestazioni dell'animale é diret- 
tamente proporzionale alla superficie 
della lesione e non dimostra alcun rap- 
porto con Ja sua localizzazione sul cor- 
tice (6). 


Architettura 


ll cervello degli esseri umani compren- 
de circa 10'2 neuroni e 10'4'5 sinapsi. 
Alcuni neuroni sono collegati a dei ‘ri- 
cettori’, altri sono connessi agli appara- 
ti motori, altri ancora non hanno colle- 
gamenti diretti né con gli uni né con gli 
altri. La maggior parte dei collegamenti 
sono a breve distanza: ogni neurone é 
collegato ai neuroni suoi vicini. Esisto- 
no comunque anche canali di comuni- 
cazione molto pit lunghi. 

Mentre l’analisi di animali primitivi ha 
consentito di raggiungere un buon livello 
di comprensione del funzionamento del 
singolo neurone e della singola sinap- 
si, le nostre conoscenze relative ai prin- 
cipi che regolano il funzionamento com- 





plessivo della macchina cervello sono 
assai limitate. Sappiamo che molte ope- 
razioni caratteristiche (per esempio it ri- 
conoscimento di un viso) possono es- 
sere compiute in tempi inferiori al secon- 
do e che il tempo di risposta di un sin- 
golo neurone é dell’ordine delle decine 
di millisecondi. Si desume che i dati in 
ingresso vengono elaborati in un mas- 
simo di un centinaio di ‘passi’ (7) e che 
la maggior parte delle operazioni viene 
effettuata in parallelo. 

L'elaborazione primaria dei dati ricevu- 
ti dal cervello viene svolta da gruppi di 
neuroni che costituiscono ‘una mappa’ 
di determinati insiemi di sensori (v. fig. 





3 "'L'hornme neuronal", Jean-Pierre Changeux, 
Parigi, 1983 


4 “The organization of behaviour", Donald O. 
Hebb. New York, 1949. 


5 “Memory: biological basis'', Oxford 
Companion to Mind pp. 456-460, Oxtord, 
1987 


6 “In search of the Engram’, K.S. Lashley, 
Society of Experimental Biology Symposium, 
4. Psychological Mechanisms in Animal 
Behaviour, Cambridge University Press, 1950 


7 Rumelhart, Mc Clelland, op. cit 
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Uscita 


Fig. 3 - Neuroni di McCulloch e Pitts 


2). Spesso lo stesso insieme viene rap- 
presentato da diverse ‘mappe’. Sembra 
probabile che esse costituiscano dei 
‘pre-processor’ che astraggono partico- 
lari informazioni dai dati sensoriali per 
trasmetterle poi verso altre parti del cer- 
vello per le fasi successive dell'elabora- 
zione. E stato dimostrato che particola- 
ri generi di elaborazione dipendono da 
zone specializzate del cortice. Le ricer- 
che su esseri umani affetti da condizio- 
ni patologiche hanno consentito infatti di 
identificare le zone responsabili per par- 
ticolari funzioni cognitive, per es. la vie 
sione. Tutte le parti del cervello sono 
connesse comunque da complessi cicli 
di retroazione (8) che si possono dimo- 
strare sia anatomicamente che con 
esperimenti psicologici che confermano 
dove si dimostra l'importanza di concetti 
di ordine superiore (per es. il significato 
di una frase) nella percezione a basso 
livello (per es. la percezione di singoli fo- 
nemi (9)). 


Una nuova strategia di ricerca 


1 risuitati della ricerca neurofisiologica, 
e di quella psicologica, dimostrano da 
un fato {a relativa semplicita dei singoli 
componenti che costituiscono il cervel- 
lo, dall’altro l'estrema complessita del- 
l'architettura che li unisce in un sistema 
organico. 

La semplicita dei neuroni e delle sinap- 
sie la loro universalita biologica ta sup- 
porre che l'intelligenza animale e uma- 
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Fig. 4 - Sia W, la connessione fra i! neurone N; e il neurone Nj. 
Sia s(N) -1,1 lo stato de! neurone N,. 
Allora 3(W,) = ks(N,):s(N,) 


dove k @ una costante. 


na si basi su un'unica, limitata gamma 
di componenti base, le quali, una volta 
simulate elettronicamente, potrebbero 
consentirci di risolvere quei problemi 
che si sono dimostrati piu refrattari al- 
Vapproccio ‘classico’. Nello stesso tem- 
po tuttavia la nostra limitata comprensio- 
ne del modo in cui i neuroni e le sinapsi 
interreagiscono all'interno del cervello fa 
disperare della possibilita di scoprire | 
segreti dell'intelligenza biologica per via 
puramente sperimentale. E in questo 
contesto che é nata la neuroinformalti- 
ca. 


Origini della neuroinformatica 


La neuroinformatica é stata fondata da 
studiosi provenienti da campi diversi co- 
me la neurofisiologia, la matematica, |'in- 
gegneria e |’informatica. Per compren- 
dere gli sviluppi odierni & utile ripercor- 
rere il cammino intellettuale che ha por- 
tato a un tentativo di sintesi fra discipli- 
ne originalmente cosi lontane. 

Negli anni ‘40, alcuni studiosi tentarono 
una sintesi fra le neuroscienze e i lavori 
di Turing e di Von Neumann sulla com- 
putabilita. Essi guardarono ai comples- 
si di neuroni del cervello come a dispo- 
sitivi da calcolo, creando modelli mate- 
matici dotati di alcune delle proprieta 
che si osservano in natura. Studiando 
questi modelli essi speravano di intuire 
i principi che governano lintelligenza 
naturale, senza dover fare i conti con la 
complessita dei sistemi viventi. 


ll primo contributo @ stato quello di 
McCulloch e Pitts, che nel '43 (10) pro- 
posero un modello basato su una rete 
di semplici dispositivi che essi denomi- 
narono ‘neuroni’, Nel modello di McCul- 
loch e Pitts ogni ‘neurone’ (v. fig. 3) as- 
sume uno stato ‘attivo’ (valore di 
uscita = 1) oppure inattivo (valore = 0). 
Esso @ collegato ad altri neuroni present! 
nella rete attraverso ‘sinapsi’, ognuna 
delle quali svolge una funzione eccita- 
toria oppure inibitoria. L’uscita del neu- 
rone viene calcolata come funzione del- 
lo stato degli altri neuroni al quali € con- 
nesso. Nel caso in cui tutti i neuroni ai 





8 ‘'Complessita det cervello ed autonomia del 
vivente’’, Francisco J. Varela, in ''La sfida della 
complessita’”’, Feltrinelli, 1985 


9 “On learning the past tense of English 
Verbs", D.E. Rumelhart e J.L. McClelland in 
Rumelhart e McClelland, op. cit 


10 “A logical calculus of the ideas immanent in 
nervous activity’, McCulloch, W.. & Pitts, W., 
Bulletin of Mathematical Biophysics vol. 5, 
4943. L'articolo originale, oltre a essere di 
difficile reperibilita (la maggior parte di questi 
lavori ‘classic?’ sono pero raccolti ne! volume 
“Neurocomputing: foundations of research", 
Andersen J. e Rosenfled E. eds., MIT Press 
1988) € anche obiettivamente di difficile lettura: 
probabiimente la migliore introduzione ai 
neuroni di McCulloch (nonché a tutte ie 
problematiche della computabilita) é il libro ai 
M. Minsky, “Computation”, Prentice Hall 1967. 
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quali é collegato attraverso le sinapsi ini- 
bitorie siano inattivi, e il numero di neu- 
toni ai quali @ connesso attraverso si- 
napsi eccitatorie superi una determina- 
ta soglia, !'uscita del neurone assume il 
valore 1; in tutti gli altri casi essa assu- 
me il valore 0. 

McCulloch e Pitts dimostrarono che per 
ogni funzione computabile da una mac- 
china di Turing esiste una rete di neu- 
roni in grado di calcolare la stessa fun- 
zione. Ne consegue che it modello di Tu- 
ring e quello della rete neurale sono, dal 
punto di vista della computabilita, equi- 
valenti. Le capacita computazionali del 
modello dipendono non tanto dalle ca- 
tatteristiche dei singoli neuroni quanto 
dal modo in cui questi vengono connes- 
si fra loro. Questa enfasi sull'importan- 
za delle connessioni nelle reti neurali sa- 
tebbe diventata uno dei connotati piu 
caratteristici della neuroinformatica. Nel 
lavoro di MacCulloch e¢ Pitts si eviden- 
ziano le proprieta di reti precostituite, 
senza esaminare come le connessioni 
possano formarsi e modificarsi. Nel '49 
Hebb (11) ipotizzd un meccanismo me- 
diante il quale una rete di neuroni pote- 
va apprendere, ovvero una regola che 
Stabiliva come modificare le connessio- 
ni in maniera da ottenere un determina- 
to insieme di risposte agli stimoli ester- 
ni. 

Nel modello di Hebb (v. fig. 4) i neuroni 
di una rete sono divisi in cellule senso- 
tie, la cui attivazione rappresenta |'ap- 
parire di un determinato stimolo, e neu- 
roni interni la cui attivita costituisce una 
risposta concettuale allo stimolo stesso 
(per es. l'apparire del concetto ‘cibo' in 
risposta all'ingresso di una mosca nel 
campo visivo di una rana). Hebb ipotiz- 
20 che affinché si formino le connessio- 
ni giuste sia sufficiente rinforzare le con- 
nessioni fra neuroni che vengono attivati 
contemporaneamente, e indebolire 
quelle fra neuroni che si attivano in 
esclusione reciproca. La regola di ap- 
prendimento di Hebb, opportunamen- 
te modificata, viene utilizzata ancora og- 
gi in molti modelti neuronali. 

Uno dei momenti chiave della neuroin- 
formatica é il lavoro sul ‘perceptrone’ 
pubblicato da Rosenblatt nel ’58 (12), 
caratterizzato dal rigore e dalla chiarez- 
za con cui descrive il modello, che con- 
sentirono una rapida implementazione 
dello stesso. 

ll perceptrone nasceva come un model- 
lo semplificato di sistema nervoso, di cui 
avrebbe dovuto duplicare le funzioni co- 
gnitive. Rosenblatt chiari che non inten- 
deva il suo modello come un dispositi- 
vo logico (una macchina di Turing), ben- 
si come un sistema capace di effettua- 
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re associazioni fra stimoli simili: le sue 
differenze rispetto a un sistema logico 
erano notevolt: le sue risposte di fronte 
a stimoli nuovi non erano prevedibili a 
priori, essendo determinate dai concet- 
ti appresi precedentemente. Diversa- 
mente dai dispositivi logici, il perceptro- 
ne funzionava anche in presenza di ru- 
more sul segnale di ingresso. 

Nel perceptrone (fig. 5) i neuroni sono 
del tipo noto come ‘neurone lineare a 
soglia’: la tensione del segnale in usci- 
ta rimane zero fino a quando la somma 
delie tensioni in ingresso non supera 
una certa soglia, oltre la quale essa di- 
venta una funzione lineare della tensio- 
ne in ingresso. | neuroni sono disposti 
in due o tre gruppi. Il primo costituisce 
la ‘retina’, cui vengono presentate le im- 
magini da classificare; il secondo, cui 
giungono gli stimoli dal primo, svoige 
funzioni associative, mentre il terzo se- 
gnala la classificazione effettuata dalla 
macchina 

Negli anni ‘60 alcuni perceptroni furo- 
no effettivamente costruiti assemblando 
ciascun neurone da component discre- 
ti. tl perceptrone di Block (13) aveva 
un’area sensoria di 20x20 rivelatori, e 
una rete associativa di 512 neuroni, con 
8 neuroni in uscita. L’intensita delle con- 
nessioni veniva variata da potenziome- 
tri guidati da piccoli motori elettrici (14). 

It perceptrone era una macchina che im- 
parava: era possibile per esempio inse- 


Fig. 5 - Perceptrone di Rosenblatt 


Connessioni casuali 


unidirezionali 


Legenda: 


gnargli a distinguere fra varie tettere del- 
l'alfabeto. Mentre si mostrava al percep- 
trone una lettera si accendeva il neuro- 
ne in uscita il cui stato rappresentava il 
riconoscimento della lettera stessa. Le 
connessioni fra i neuroni venivano mo- 
dificate in base a una versione della re- 
gola di Hebb. Sovrapponendo linear- 
mente ail'interno della stessa rete le con- 
nessioni corrispondenti alle singole let- 
tere era possibile insegnare al percep- 
trone a distinguere fra diversi caratteri, 
senza apparente interferenza fra le im- 
magini apprese. I! sistema mostrava la 
‘robustezza' tipica dei sistemi biologici 
l'alterazione casuale di una parte delle 
connessioni, o fa rimozione di aicuni 
neuroni, provocavano una degradazio- 
ne graduale delle prestazioni, senza ca- 
dute brusche. 





11 Hebb. op. cit 


12 ‘The perceptron. a probabilistic model tor 
information storage and organization in the 
brain’. F. Rosenblatt, Psychological Review 65. 
386-408. 1958 


13 “The Perceptron a model for brain 
functioning’, H.D. Block. Reviews of Modern 
Physics 34: 123-135. 1962 


14 A dimostrare la potenza dell approccio 
neurale, la loro macchina costrutta con mezzi 
tudimentah aveva la stessa velocita dt una rete 
neurale simulata ogg: su una macchina tipo 
Vax 


Connessioni casuali 
bidirezionali 


Collegamento eccitatorio 


Collegamento inibitorio 
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Un seminario sullo stato dell‘arte del neural computing 


NICOLO CESA-BIANCHI - ENRICO GASPERINI 


il seminario sulle reti neuronali della 
State of the Art Limited, tenutosi a 
Roma nel Giugno scorso, ha avuto 
come protagonista il dott. Harold Szu 
del Naval Research Laboratory di 
Washington. Ricercatore gia affermato 
ne! settore dell’optical computing, 
dove @ anche detentore di numerosi 
brevetti, Szu si é rivelato da qualche 
anno come uno dei pil: entusiasti ed 
attivi adepti de! paradigma 
Connessionista. Oltre ad avere gia 
una cospicua quantita di pubblicazioni 
in questo campo, egli é membro 
fondatore della international Neural 
Network Society (NNS) ed editore del 
periodico scientifico “Neural 
Networks" che, insieme a “Neural 
Computation’, raccoglie la maggior 
parte dei contributi pubblicati 
sull'argomento in campo 
internazionale. Pit! in particolare, Szu 
si @ distinto come uno dei primi 
sostenitori delta tecnologia ottica 
come base implementativa (atternativa 
fispetto alla VLSI) per i 
neurocomputer 0 elaboratori di VI 
generazione. 

| computer della V! generazione sono 
stati per fa prima volta annunciati in 
occasione del progetto “Human 
Frontier Science Program’’ (HFSP) 
bandito quest’anno dal Ministero 
giapponese dell'Industria e del 
Commercio (MIT). Uno dei principali 
obiettivi che I'HFSP si propone é la 
costruzione di nuovi elaboratori in 
grado di simulare le capacita 
percettive ed associative del cervello 
umano avwalendosi della 
collaborazione internazionale di 
specialisti in reti neuronali, biologia, 
tobotica e biotecnologia. 

L‘idea base che guida la realizzazione 
degli elaboratori di VI generazione é 
la convinzione che soltanto le 
architetture ad altissimo paralielismo 
siano in grado di realizzare 
Pambizioso obiettivo che I'HFSP si é 
proposto. Fino ad ora gli elaboratori 
paralleli, pur offrendo delle prestazioni 
maggiori di alcuni ordini di grandezza 
rispetto ai pit: veloci elaboratori 
tradizionali, avevano il grosso 
handicap di richiedere tecniche 
accurate di programmazione per il 
controlio della sincronizzazione fra i 
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Le reti di Szu 


processori. Questo nuovo trade-off fra 
velocita di esecuzione e 
comunicazione — che si @ rivelato 
essere il collo di bottiglia ‘non-von 
Neumann’ per questo tipo di 
architetture — non esiste nel caso 
delle reti neuronali. Infatti, esse sono 
in grado di operare in modo 
asincrono e senza bisogno di 
programmazione convenzionale in 
quanto hanno una peculiare capacita 
di apprendere e autoadattarsi 
interagendo col mondo esterno. In 
questo contesto, Szu ipotizza 
l'integrazione delle pili sofisticate 
tecnologie hardware e software per la 
creazione di un computer di VI 
generazione che egli immagina 
composto dalle seguenti tre 
fondamentali rappresentate 
pittoricamente in figura 1: 

1) Una rete neuronale realizzata con 
tecnologia ibrida otpo-elettronica in 
grado di funzionare come memoria 
associativa user-friendly, come 
sistema deduttivo programmabile 
basato a regole e come modulo per 
effettuare pattern classification senza 
l'ausilio di euristiche predefinite e sulla 


base di dati incompileti o imprecisi. 
Ogni nodo della rete neuronale & 
connesso con circa un migliaio di 
nodi vicini per formare una regione 
omogenea a densa connessione 
locale, adatta per la realizzazione di 
funzionalita specifiche. Queste regioni 
sono connesse sequenzialmente in 
una struttura a strati. Per esempio, 
riprendendo la struttura delle reti a 
retropropagazione dell’errore, uno 
strato di input viene sequenzialmente 
connesso a uno strato di 
generalizzazione, per l’estrazione dei 
dettagli specifici dai pattern di input. A 
sua volta, questo secondo strato é 
seqguito da uno strato di output che 
Classifica gli input sulla base delle 
informazioni fornite dallo strato 
sottostante. Questa parte del sistema 
é raffigurata come una stella per 
porre in rilievo la rete di 
interconnessione esistente fra i singoli 
processori elementari. 

2) Una data base machine ottica in 
grado di effettuare conversioni 
analogico/digitali e viceversa in tempo 
reale per interfacciare programmi 
memorizzati e librerie di.dati, e di 





Fig. 1 - Architettura degli elaboratori di VI generazione 
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funzionare comme memoria associativa 
per compiere operazioni di 
indicizzazione fault-tolerant e di data 
fusion. in aggiunta al disco ottico, 
Possono anche essere utilizzati altri 
tipi di dispositivi come gli ologrammi 
volumetrici o paginati. In figura 1 
questo modulo, che rappresenta la 
memoria di massa del sistema, é 
raffigurato sotto forma di un 
contenitore. 

3) Un supercomputer con 
grandissime capacita matematiche e 
dotato di un linguaggio di 
programmazione di tipo vettoriale. | 
comandi possono essere introdotti a 
voce (voice input) ma il comando 
finale viene comunque controllato e 
filtrato dalla rete neuronale che funge 
da modulo supervisore. La 
rappresentazione del modulo come 
cilindro riprende {a topologia del 
supercomputer come il Cray dove i 
Processori sono disposti in modo da 
ottenere un ritardo costante su tutte le 
linee di comunicazione. 

Per la fine del 1988, Szu intende 
mostrare un primo prototipo su 
piccola scala della sua macchina di V1 
generazione, frutto dell’applicazione 
all'optical computing delle recenti 
scoperte sulla superconduttivita alle 
alte temperature. Entro quella 
scadenza, gli scienziati del Naval 
Research Lab sperano di riuscire a 
produrre un primo modello di array 
ottico a superconduzione che 
Costituira i! mattone fondamentale per 
gli elaboratori di Vi generazione. 
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Funzione energetica des rete nevronsie 


Fig. 2 


Questo dispositive @ costituito da una 
matrice i cui elementi sono interruttori 
analogici a superconduzione ed é@ 
controllato da una data base ottico 
che fittra gli input dal mondo esterno. 
i data base ottico consiste di una 
matrice di porte elettromagnetiche, 
chiamate ‘spatial light modulators’ , 
che controllano il passaggio della luce 
come le veneziane sopra una finestra. 
Ciascuna giunzione della matrice che 
compone il data base ottico 
rappresenta un pixel. Quando il pixel 
viene attivato dalla luce riflessa da un 
oggetto, esso trasmetie un raggio di 
radiazione infrarossa sulla 
corrispondente giunzione della 
matrice di superconduttori sottostante. 
La radiazione infrarossa, che incide 
perpendicolarmente rispetto al piano 
della giunzione, produrra una 
deviazione di 90 gradi nella corrente 
di superconduzione provocando una 
commutazione analogica. La ragione 
per cui la commutazione pud essere 
analogica risiede nella struttura del 
materiale superconduttivo. Infatti, i 
cristalli di questa sostanza sono 
anisotropi rispetto alla proprieta di 
diffondere corrente di 
superconduzione. 

A lunga scadenza, Szu prevede che 
la scala de! prototipo potra essere 
estesa fino a raggiungere quella del 
cervello umano. In particolare, egli 
stima di poter riuscire a ottenere 
vettori di ingresso con 10° elementi, 
che arriverebbero a formare una 
matrice associativa di 10'° elementi 















Se ciascuna operazione di 
molttiplicazione fra matrice associativa 
e vettore di ingresso venisse fatta 104 
volte al secondo, il neurocomputer 
sarebbe capace di elfettuare 10'> 
Operazioni al secondo equivalent a 
circa un milione di volte la potenza di 
un Cray (1Mega Cray). 













LE APPLICAZION! 








Nonostante queste ottimistiche 
aspetiative, ancora una grossa 
percentuale di ricercatori é fortemente 
critica nei confronti della possibilita di 
applicare le tecnologie neuronali nel 
breve periodo (si veda |'articolo ai 
Apolloni-Mauri sullo stato dell'arte 
della disciplina in Italia, n. 42 
Informatica Oggi). D'attronde, 'é ben 
visibile una serie di segnali da parte 
della Difesa Americana, segnali che 
dimostrano un grosso interesse dei 
militari per le architetture della VI 
generazione. Probabilmente, questo 
interesse é motivato dagli esiti poco 
promettenti di altre tecniche Al e del 
fatto che i sistemi strategici moderni 
per la sorveglianza e i sistemi d'arma 
automatici richiedono to sviluppo di 
macchine per il data processing molto 
pili veloci ed efficienti di quelle attuali, 
che sono basate su algoritmi 
estremamente costosi e complessi e, 
per giunta, poco flessibili. 

La Darpa (Defense advandec 
research project agency) ha stanziato 
400 milioni di dollari da destinarsi il 
Praossimo anno per ta ricerca in 
questo campo, e a Malibu, California, 
esiste un laboratorio, lo «Hughes 
Neural Network Technology Center», 
che da qualche anno conduce 
ticerche per conto della Difesa sulla 
risoluzione di problemi come il 
Ficonoscimento di tracce radar 
passive per mezzo 
dell'implementazione Visi di hardware 
neuronale analogico. H. Szu, che 
lavora per il Naval Research 
Laboratory, sostiene che gli 
investimenti militari, come é sempre 
successo per le alte tecnologie, 
Provocheranno sicuramente una 
grossa ricaduta in campo civile. 

Fra le funzioni militari che possono 
essere implementate con reti 
neuronali ricordiamo: 

~— supporto alle decisioni 
(identificazione target, allocazione di 
risorse); 
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— signal-processing, riconoscimento 
segnali audio e immagini, guida ci 
armi automatiche; 
— interfacce uorno-macchina, 
— database/expert systems data 
Query, estrazione automatica di 
conoscenza dai dati, sistemi esperti 
non rule-based. 
Una delle pit: naturali applicazioni 
delie reti neuronali é il processing di 
segnali real-time. Un problema difficile 
da risolvere é, per esempio, quello 
del rilevamento e del riconoscimento di 
tracce di target in presenza di rumore, 
reso pili arduo dall'ampiezza della 
banda passante nei moderni sistemi 
di sensori. Quasi tutti i sistemi 
convenzionali di signal processing 
comprendono hardware dedicato 
all’estrazione di feature come 
interfaccia fra il sensore e il 
meccanismo di rilevamento/ 
classificazione. 
La classe di reti neuronali orientate al 
fearning pud incorporare 
simultaneamente l'estrazione delle 
features e i meccanismi di pattern 
recognition, tagliando il costo di 
algoritmi complessi, progettati 
esplicitamente per riconoscere 
determinate tracce, che comportano 
un‘analisi dettagliata dei target, dei 
disturbi e delle tracce false. 
In questo modo é possibile progettare 
macchine istruite per accettare in 
input segnali grezzi e fornire in output 
la loro classificazione, adattando la 
loro architettura nella fase di training. 
Un processore de! genere 
fichiederebbe un’analisi minimale e 
nessun tipo di algoritmo dedicato, 
costerebbe poco e sarebbe fault-tole- 
rant. La principale caratteristica del 
neural network processing é l'abilita di 
sviluppare internamente, in modo 
autonome, !‘algoritmo’ richiesto per il 
rilevamento e l'identificazione. La 
macchina sarebbe tarata attraverso 
una fase di learning per accettare 
solo le tracce def target. E soprattutto, 
la fase di learning potrebbe 
continuare successivamente per 
ficonoscere nuove classi di target. 
Gli esperimenti di simulazione 
indicano come una rete analogica 
pud identificare nuove tracce in 
poche decine di nanosecondi, tempo 
fimitato solo dal ritardo di 
Propagazione dei transistor (che 
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implementano la funzione sigmoidale 
del neurone) e delle resistenze (i pesi 
delle interconnessioni fra i neuroni). 
Con il degrado dei componenti si 
arriva a classificazioni ambigue, per le 
quali la macchina indica livelli di 
incertezza, ma non a errori di 
classificazione. 

Nell'area dell’ ottimizzazione una delle 
maggiori applicazioni é la ‘mutti- 
sensor passive track initiation’ nello 
scenario aereo. In breve, si tratta della 
localizzazione di un piccolo numero di 
veri (passivi) target (aerei) fra un 
grosso numero di tracce false 
(fantasmi), generate dalla interazione 
dei radar come rappresentato in 
figura 2. 

Questa classe di problemi comporta 
una crescita esponenziale del tempo 
di calcolo rispetto al numero di target 
(problemi NP-completi). 

Per esempio, in uno scenario tipico 
con 15 veri target, un Vax 11/780 
pud risolvere i! problema nel giro di 
pochi secondi. Ma se il numero di 
target cresce fino a 36, la Cpu ci 
metterebbe anni, contro i pochi 
millisecondi di una rete neuronale. In 
una rete del genere ogni unita 
rappresenterebbe un target potenziale 
e il peso delle connessioni 
determinerebbe il vincolo che un 
target solo possa apparire sotto un 
certo angolo. La topologia della rete 
sarebbe quindi quella dello scenario 
reale, e lo stato di equilibrio finale la 
soluzione del problema. Con la 
tecnologia Visi attuale si possono 
realizzare chip da 200 neuroni per 
questo genere di reti. 

Per questo e altri problemi di 
ottimizzazione combinatoria esiste un 
algoritmo, l'annealing simulato, 
emerso come paradigma negli ultimi 
anni, che deriva per analogia dal 
processo fisico di cristallizzazioni dei 
solidi. 

Nel processo di annealing, attaverso il 
riscaldamento e il successivo 
ratfreddamento graduale, alle 
molecole di un solido viene fornita 
lenergia necessaria per rallinearsi 
nella struttura che rappresenta un 
minimo energetico globale del 
sistema, ossia lo stato cristallino. Per 
poter trovare questo minimo le 
molecole devono superare le barriere 
energetiche che confinano gli stati di 
cristallo impuro ( minimi energetici 
locali). 

L'annealing simuiato prende a prestito 
dalla natura la formulazione 





matematica di questo processo e la 
applica a problemi combinatori di 
ottimizzazione non convessa, come 
per esempio quello del 
riconoscimento di target passivi. 
L'algoritmo riesce a evitare i minimi 
locali della funzione costo attraverso 
un salto random a livelli energetic’ pit 
alti, controllato da un parametro che, 
sempre per analogia con il sistema 
fisico, € chiamato ‘temperatura’. 
Attraverso il progressivo 
abbassamento della temperatura il 
sistema raggiunge un equilibrio nel 
minimo energetico globale, ossia 
minimizza la funzione costo. 

Questo algoritmo é stato 
implementato da Hinton in una delle 
architetture neurali pit: famose, la 
Boltzmann Machine. i! cui maggior 
difetto sta nella bassa velocita 
convergenza all’equilibrio, H. Szu, 
oltre ad aver ideato la crima 
Boltzmann Machine ottica, propone 
un nuovo tipo di macchina che a suo 
parere @ in grado di offrire prestazioni 
migliori: ja Cauchy machine. 
Normalmente gli stati energetici ( 
valori della funzione costo) vengono 
visitati con una probabilita di 
scostamento distribuita in modo 
Gaussiano. Cioé il sistema, nel suo 
cammino random verso l’equilibrio, 
arriva a un certo stato che si discosta 
poco da quello precedente e quindi 
lo sceglie o Io rifiuta (ovvero i neuroni 
sparano 0 meno) con una certa 
probabilita regolata dalla temperatura 
e dal fatto che il nuovo stato abbia un 
valore energetico minore di quello 
precedente. In una Cauchy machine, 
la probabilita di finire in stati motto 
distanti é regolata da una 
distribuzione di Cauchy e quindi molto 
pit elevata rispetto a quella di una 
Boltzmann Machine. In poche parole, 
il sistema compie salti energetic 
random molto maggiori finendo pit: 
rapidamente nel minimo globale. 

Szu conclude il suo brillante seminario 
dandoci limpressione che le 
macchine di Vi generazione siano 
ormai prossime a essere applicate 
soprattutto in campo militare (dando 
magari una nuova spinta al progetto 
sullo scudo spaziale) e, in un 
prossimo futuro, a essere integrate 
con le tecniche tradizionali per sistemi 
knowledge-based, ne! campo 
dell’Optical Character Recognition e, 
piu in generale, in tutti i campi dove i 
problemi di learning e di 
ottimizzazione sono critici. 
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Fig. 6 - Esempio di due figure di cui una connessa e una non-connessa. Da Papek 


e Minsky, ‘‘Perceptors”’ p. 75 


L’apparizione de! perceptrone destd 
sensazione. Gia dai primi esperimenti 
iniziarono comunque ad apparire alcu- 
ni limiti dell'approccio: il perceptrone era 
in grado di discriminare efficientemen- 
te solamente fra immagini linearmente 
separabili fra loro, e la non-interferenza 
fra immagini sovrapposte richiedeva 
inoltre che esse fossero linearmente in- 
dipendenti (ne! senso dell’algebra linea- 


re). 

Nel 1969 Minksy e Papert (15) pubbli- 
carono un’analisi rigorosa e impietosa 
de! perceptrone, dimostrando in manie- 
ra formale i limiti gia osservati sperimen- 
talmente. Essi dimostrarono inoltre che 
esistono problemi importanti (per esem- 
pio !a determinazione della parita di un 
numero binario, il calcolo di una funzio- 
ne come |'Xor di due bit (16), la classifi- 
cazione di immagini sulla base della lo- 
ro connettivita) che nessuna rete é in 
grado di risolvere, a meno di non pos- 
sedere connessioni fra ogni possibile 
paio di neurori. In una simile rete ‘omni- 
connessa’ il numero totale di connessio- 
ni crescerebbe esponenzialmente. Nei 
sistemi nervosi biologici invece la mag- 
gior parte delle connessioni sono fra 
neuroni vicini, facendo si che il numero 
di connessioni aurnenti linearmente con 
Je dimensioni del ‘cervello’. 

Alle dimostrazioni formali di Minsky e Pa- 
pert i sostenitori dei perceptroni poteva- 
no controbattere che in compiti come 
quelli sopra citati neppure gli animali so- 
no particolarmente ‘bravi’. Osservando 
la figura 6 si vede infatti quanto é diffici- 
le determinare se una determinata im- 
magine sia 0 meno connessa. Le stes- 
se difficolta si incontrano quando si tenta 
di determinare se il numero di oggetti vi- 
sibili in un certo contesto sia pari o di- 
spari. L'impatto delle critiche di Minsky 
e Papert dipese tuttavia non solo dalla 
dimostrazione dei limiti teorici dei per- 
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ceptroni, ma anche dalla loro sfiducia re- 
lativa alle potenzialita di reti pi. comples- 
se. Tale sfiducia nasceva in gran parte 
dal cosiddetto ‘problema di attripuzione 
dei meriti’ (17). 

In un perceptrone tutti | neuroni sono 
connessi 0 alle unita sensorie oppure a 
quelle di uscita. Per ogni neurone nel si- 
stema é possibile quindi determinare se 
esso si trova nello stato desiderato o me- 
no modificando poi le connessioni in 
modo da tavorire il riprodursi del com- 
portamento desiderato. In reti pi. com- 
plesse in cui si introducono strati di neu- 
roni non direttamente connessi née agli 
ingressi né alle uscite (neuroni ‘nasco- 
sti’, v. fig. 7) non é@ pill possibile deter- 
minare se lo stato di uno dei neuron! na- 
scosti é corretto o meno, Di conseguen- 
za diventa impossibile decidere come 
modificare le connessioni, In questo 
contesto la possibilita di apprendimen- 
to appare problematica. 

L’opera di Minsky e Papert giunse in un 
momento critico per la neuroinformati- 
ca: i problemi sollevati sembravano sen- 
za soluzione. Mentre iniziava l'epoca 
d'oro dell'intelligenza artificiale classica. 
di cui Minsky e Papert sono stati pera!- 
tro fra i pionieri, i perceptroni caddero 
nell’oblio 

Wl ritorno in auge della disciplina inizio 
senza clamore nei primissimi anni '80, 
grazie al lavoro di un gruppo detto 
‘gruppo PDP’ (Parallel Distributed Pro- 
cessing), nato all’ Universita della Califor- 
nia a San Diego (18). Questo gruppo ha 
ripreso la ricerca su concett che rappre- 
sentavano la logica prosecuzione del la- 
voro sui perceptroni, adottando pera 
nuovi punti di vista, che hanno permes- 
so di considerare non piu irrisolvibile il 
problema dell’attripuzione dei meriti. 
Nel 1982 fu pubblicato un lavoro fonda- 
mentale di Hopfield (19), che forniva una 
nuova prospettiva alla ricerca, utilizzan- 


do analogie fra le ‘proprieta computa: 
zionali collettive’ delle reti neurali e it 
comportamento ‘sinergico’ di sistemi fi- 
sici composti da elementi interagenti fo- 
calmente (come materiali magnetic: o 
flussi turbolenti). In entrambi i casi le pro- 
prieta collettive sono indipendenti dai 
dettagli delle interazioni, e dipendono in- 
vece da funzioni globali. Hopfield trovo, 
per le reti neurali, funzioni analoghe al- 
la funzione energia di un sistema fisico, 
utilizzandole per |'analisi del comporta- 
mento dinamico globale della rete. Que- 
sto gli permise di studiare il comporta- 
mento globale di reti molto piu comples- 
se dei perceptroni, non analizzabill con 
i metodi classici. 

In particolare era possibile studiare i! 
comportamento di reti con neuroni na- 
scosti. 

Nei modelli pi. complessi studiati da 
Hopfield (modelli con ‘back-propaga- 
tion’), il flusso di informazioni non é piu 
solo unidirezionale(A B C D ) 
ma bidirezionale(A B C_ OD).Es 
si sono in grado quindi di riprodurre i ci- 
cli di retroazione che esistono nei cer- 
velli ‘biologici’. 

Hopfield dimostré che almeno in linea 
teorica questo tipo di modelli puo su- 
perare le difficolta sollevate da Minsky 
e Papert. 

Con questo risultato termina la preisto- 
tia della neuroinformatica e inizia la 
cronaca non sempre lineare di una di- 
sciplina moderna in rapida evoluzione. 





15 “Perceptrons", M.L. Minsky and S.A 
Papert, MIT Press, 1969 


16 Funzion di questo tipo sono perd calcolabit! 
da una rete con elementi nascost! 


17 (n realta i! problema dell'assegnazione de! 
merito era gid stato evidenziato da Samuel nel 
suo anicolo “Some studies in machine learning 
using the game of checkers’, IBM journal of 
research and development, Vol. 3. n. 3. 
Samuel aveva creato un interessante 
programma per il gioco della dama, che 
imparava dai propri errori aggiustando il valore 
di determinati coefficienti che determinavano la 
sua strategia di gioco. Una delle dificolta era 
appunto determinare quali coetficienti fossero 
responsabili del miglioramento (0 
peggioramento) complessivo delle prestazioni 


18 Una delle opere piu importanti nel carnpo € 
proprio "Parallel Distributed Processing’, a 
cura di McLelland J., Rumelhart D. and the 
PDP Research Group, MIT Press 1986. 


49 ''Neural networks and physical systems with 
emergent collective computational abilities”. 
J.P. Hopfield, Proceedings of the National 
Academy of Sciences, 79: pp. 2554-2558, 
1982. 
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a) Modello "feed-forward" 


Fig. 7a - Modelli a pit livelli 


TIPOLOGIA DEI MODELL! 


Al fine di potersi accostare pil agevol- 
mente alla ricerca neuroinformatica cor- 
rente, e per poter comprendere meglio 
le differenze a volte tutt’altro che evident 
fra i diversi modell, @ opportuno siste- 
matizzare qui breverente le caratteristi- 
che che li distinguono. 


1 neurone 


Un neurone, nel contesto della neuroin- 
formatica, @ un elemento computaziona- 
le semplice, che accetta dei segnali in 
ingresso, li combina secondo determi- 
nate regole, e sulla base di questi segna- 
li, del proprio stato interno (rappresen- 
tato da una quantita continua o discre- 
ta a seconda dei modelli) e degli stati 
precedenti calcola un segnale in uscita 
che viene inviato ai neuroni che gli so- 
no connessi. 

Una caratteristica importante del neuro- 
ne é@ il modo in cui | vari segnali in in- 
gresso vengono combinati fra di loro de- 
terminando il segnale complessivo: la 
‘tunzione di attivazione’ del neurone. Nel 
modello piu semplice i vari segnali ven- 
gono moltiplicati per un peso che rap- 
presenta l'intensita della connessione fra 
i vari neuroni (la sinapsi) e€ quindi som- 
mati fra di loro: 


S,= Zinpw,, 


dove S, é il segnale in ingresso al neu- 
rone i, inp, é il segnale proveniente dal 
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b) con “back propagation" 


Neuroni 


Ingresso 


Livello 


nascosto 1 


Livello 
nascosto 2 


Uscita 


Neuroni 


ingresso 


Livello 


nascosto 1 


Livello 
nascosto 2 





Fig. 7b - Modelli a piu livelti 


neurone j, e w, é l'intensita della sinap- 
si. Le sinapsi con peso positivo sono 
dette eccitatorie mentre quelle con pe- 
so negativo sono dette inibitorie. 

E anche possibile usare funzioni di atti- 
vazione pil complesse, in cui per esem- 
pio la somma degli ingressi pesati vie- 
ne mottiplicata per una sigmoide in ma- 
niera che il risultato sia sempre compre- 
s0 fra un massimo e un minimo 

La caratteristica forse pit importante del 
singolo neurone é la funzione d'uscita, 
ovvero !’algoritmo per determinare il se- 
gnale che trasmettera ai neuroni a lui 
connessi. L'uscita @ funzione dell’attiva- 
zione del neurone e pud essere elemen- 
tare (I'uscita é identica al valore dell’at- 
tivazione), o pil. complessa. Spesso le 
funzioni d'uscita prevedono l'esistenza 
di una soglia di attivazione, al di sotto 
delia quale il segnale in uscita rimane 
nullo, per assumere valori non nulli al di 
sopra della stessa. In genere un Com- 
portamento interessante della rete richie- 
de una funzione d'uscita non lineare. 


La topologia 


Fissate le caratteristiche dei singoli neu- 
roni, ja natura di una rete 6 determinata 
dalla sua topologia, ovvero da come so- 
no connessi fra di loro i singoli neuroni. 
In alcuni modelli }e connessioni vengo- 
no organizzate sequendo uno schema 
predeterminato (per esempio ‘ciascun 
neurone é connesso agli 8 neuroni piu 
vicini’), in altri casi si preferisce uno 
schema casuale. 


In molti modelti i neuroni vengono orga- 
nizzati in piu strati o ‘tivelli’ (v. fig. 7). In 
generale le reti a piu livelli hanno carat- 
teristiche piu interessanti rispetto a quel- 
le a un livello solo. 

Analizzando una rete a piu livelli biso- 
gna distinguere fra ji livelli ‘visibili’ (i! li- 
vello dei sensori e il livello di uscita) e 
i livelli ‘nascosti', nonche fra sistemi 
‘feed-forward’ e sistemi con ‘back- 
propagation’ (v. fig. 7) 


U'apprendimento 


Una ulteriore caratteristica chiave per 
determinare fa natura di una rete neu- 
rale é tl meccanismo di apprendimen- 
to. Si distingue fra meccanismi guidatl 
e meccanismi spontane!. Nei meccani- 
smi di apprendimento guidato () piu co- 
muni) viene presentata alla rete una se- 
quenza di oggetti, da riconoscere o clas- 
sificare; nello stesso tempo la risposta 
giusta viene ‘suggerita’ attivando l'uni- 
ta di uscita corretta. Nei meccanismi di 
apprendimento spontanei invece si tenta 
di far si che la rete scopra spontanea- 
mente delle correlazioni fra gli oggetti 
che le vengono presentati. 

Nel formalismo delle reti neurali ogni 
meccanismo di apprendimento si tradu- 
ce in un algoritmo che consente di mo- 
dificare l'intensita detle sinapsi. Il mec- 
canismo piu semplice (regola di Hebb 
o regola delta) consiste ne! rinforzare |’in- 
tensita della connessione fra neuroni 
che sono attivi contemporaneamente. 
Questo algoritmo va bene pero solo nel 
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caso di reti che non presentino livelli na- 
scosti. Una versione modificata dello 
stesso, utiizzabile anche per rett con li- 
vellt nascosti e nota con il nome di re- 
gola delta modificata, € stata scoperta 
solo in tempi molto recenti (20), ed é al- 
lo stato attuale t'algoritmo di apprendi- 
mento pit diffuso. 

Un altro diffuso algoritmo di apprendi- 
mento che ha risolto il problema dell’as- 
segnazitone del merito é quello utilizza- 
to nelle macchine di Boltzman (21), la 
cui Caratteristica piu importante é quel- 
ta di essere un algoritmo non determi- 
nistico, in cui | singoli neuroni cambia- 
no stato in maniera probabilistica sulla 
base di una distribuzione stocastica. 


Rappresentazione dei dati 


Nelle reti neuronali i dati in ingresso ven- 
gono rappresentati definendo Io stato di 
un particolare insieme di ‘neuron di in- 
gresso’: fo stato del singolo neurone fa- 
cente parte di questo insieme costitui- 
sce un ‘atomo’ di informazione. Ogni da- 
to complesso viene rappresentato non 
dalla modifica arbitraria di un ‘simbolo’ 
bensi da un insieme ai element ‘subsim- 
bolici’ ognuno dei quali possiede un si- 
gnificato proprio. Cosi | neuroni in in- 
gresso possono rappresentare per 
esempio la presenza o meno di una let- 
tera in una determinata posizione in una 
parola oppure lo stato di un ricettore im- 
maginario su una ‘retina’. 

In neuroinformatica come nell’informa- 
tica classica la scelta dello schema rap- 
presentativo per i dati de! problema da 
risolvere contribuisce a determinare la 
potenza computazionale del sistema 
Come si desume dagli esempi appena 
citati, {a pil parte dei sistemi sviluppati 
hanno utilizzato ‘atomi’ molto semplict. 
E possibile che nel futuro nuove forme 
di codifica delle informazioni in ingres- 
so portino a significativi miglioramenti 
delle potenzialita computazionali delle 
reti neuronal. 

Mentre i dati in ingresso a un sistema 
neuroinformatico vengono definiti dallo 
stato di un particolare insieme di neuro- 
ni, la sua base di conoscenze, o meglio 
i meccanismi che consentono al siste- 
ma di emulare l'esistenza di una base 
di conoscenza, risiede nella ‘forza’ del- 
le connessioni fra i neuroni. In certi mo- 
delli (per es. alcuni dei perceptroni stu- 
diati da Papert e Minsky) la forza delle 
connessioni viene determinata diretta- 
mente dal programmatore in modo tale 
da consentire al sistema di raggiunge- 
re il risultato desiderato. Nella maggior 
parte dei casi comunque tale ‘forza’ vie- 
ne modificata autonomamente dal siste- 
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ma secondo un qualche schema di ap- 
prendimento. In questi sistemi la rappre- 
sentazione della base di conoscenza é 
nascosta al programmatore. 
Analogamente all'ingresso, !’uscita di un 
modello neuroinformatico viene defini- 
ta dallo stato di un insieme predetermi- 
nato di neuroni. In molti modelli fo stato 
dei singoli neuroni in uscita rappresen- 
ta la verita/falsita di una determinata pro- 
posizione: per es. immagine in ingres- 
so rappresenta il carattere ‘A’. In altri ca- 
si /'insieme dei neuroni in uscita rappre- 
senta una ‘idealizzazione’ oppure un 
completamento dei dati in ingresso. 


PROTOTIPI E APPLICAZIONI 


Non esistono oggi applicazioni commer- 
ciali basate su sistemi neuroinformatici: 
esistono comunque alcune applicazio- 
ni sperimentali che dimostrano il poten- 
ziale della nuova tecnologia, anche al di 
fuori dell’accademia 

Le prime applicazioni dei perceptroni fu- 
rono quelle legate alla visione: il ricono- 
scimento di caratteri e la classificazione 
di immagini. A distanza di 30 anni que- 
sta classe di applicazioni mantiene tut- 
ta la sua importanza. | sostenitori della 
neuroinformatica sperano infatti che in 
questo campo, cosi vicino atle proble- 
matiche dell’intelligenza naturale, le {o- 
ro tecniche mostreranno una superiori- 
ta intrinseca rispetto a quelle dell'intelli- 
genza artificiale ‘classica’ 
Un'interessante applicazione nel cam- 
po della visione é il ‘neocognitrone’, un 
sistema per it riconoscimento di numeri 
manoscritti (22), formato da una rete 
neurale a 9 livelli, di cui il primo é for- 
mato dalla matrice di sensori ottici 
(19x19), mentre f'ultimo, quello di usci- 
ta, contiene un neurone per Ciascun ca- 
rattere da riconoscere. | neuron! sono 
del tipo ‘a soglia lineare’, e le connes- 
sion all’interno delta rete sono sia ecci- 
tatorie che tnibitorie. Il meccanismo di 
apprendimento é del tipo gurdato, e |'al- 
goritmo usato é piuttosto complesso. II 
sistema € in grado di riconoscere numeri 
in qualunque posizione nel campo visi- 
vo, anche se scritti in maniera alquanto 
distorta (v. fig. 8); net casi palesemente 
dubbi esso fornisce una stima dei valo- 
ri piu probabili. It tasso di errore é molto 
basso. 

Una volta implementati su hardware pa- 
tallelo, sistemi di questo genere potreb- 
bero costituire dei front-end per |ingres- 
so di caratteri manoscritti a computer di 
tipo piu tradizionale. Funzionalita di que- 
sto genere sarebbero particolarmente 
utili in paesi come il Giappone o la Cina 





dove l'uso di ideogrammi manoscritti e 
assai complessi pone degli ostacoli alla 
diffusione dell'informatica aziendale. 

tl riconoscimento di caratteri sulla base 
di dati di ingresso parziali, distorti e co- 
munque non perfettamente uguali a 
quelli originariamente memorizzati, co- 
stituisce un esempio di un problema piu 
generale e cioé l'implementazione di 
memorie ii cui contenuto (arbitrariamen- 
te definito) sia recuperabile sulla base di 
una conoscenza parziale del dato me- 
Morizzato. Sistemi di questo tipo sono 
noti come Content Addressable Memo- 
ries (CAM). 

Un semplice modello sperimentale di 
Cam é stato realizzato da Yaser S. Abu 
Mostafa e Demetri Psaltis de! California 
Institute of Technology (23). Questo mo- 
dello, che non contiene neuroni nasco- 
sti, si basa su una semplice matrice bi- 
dimensionale di 10000 ‘neuroni’, ognu- 
no dei quali rappresenta un pixel in una 
immagine fotografica. La tecnologia ot- 
tica utilizzata per l'implementazione ha 
consentito la connessione di ogni neu- 
rone a ogni altro mediante fasci di luce 

Le connessioni fra i neuroni vengono 
specificate in un ologramma (per una 
descrizione pil dettagliata di questa tec- 
nologia v. pil: avanti). 

Utilizzando il loro sistema Mostafa e 
Psaltis hanno memorizzato diversi foto- 
grammi di viso umano. In seguito il si- 
stema ha dimostrato la capacita di ‘rico- 
noscere’ un'‘immagine anche sulla ba- 
se di un ingresso parziale (per esempio 
meta della foto originalmente memoriz- 
zata). Gli autori affermano, forse ottimi- 
sticamente, che benché nell’esperimen- 
to siano stati registrati solo quattro foto- 
grammi, l'utilizzo di ologrammi tridimen- 
sionali consentirebbe la memorizzazio- 
ne di milioni di immagini. 

Un altro campo in cui le reti neurali so- 
no state sperimentate con successo é€ 
quello del tinguaggio naturale, un cam- 
po dove le tecniche dell'intelligenza ar- 
tificiale classica hanno raggiunto un suc- 
cesso molto parziale. 





20 Da tre gruppr separati, in maniera 
indipendente, ne! 1985. 


21 Acley D. et al, 1985, “A learning algorithm 
tor Boltzmann machines’, Cognitive Science. 
vol 9 


22 Fukushima K. et al., “Neocognitron: a 
neural network model for a mechanism of 
visual pattern recognition’, leee transactions on 
systems, man and cybernetics, 13:826. 


3 ‘Il calcolatore ottico neuronico’’, Yaser S. 
Abu Mostafa e Demetri Psaltis. Le scienze. 
maggio 1987 
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Fig. 8 - Le unita di ingresso si articolano in 7 gruppi di 29 unita clascuno, Ogni 
gruppo codifica un carattere nella stringa di ingresso. Ogni unita nascosta é 
collegate a tutte fe unita di ingresso. Le unita di uscita codificano la 
rappresentazione fonetica de! carattere centrale deila stringa di ingresso. 
Figura da Terrence J. Sejrowski e Charles R. Rosenberg, ‘‘Net Talk, a parallel 
network that learns to read aloud’’, Johns Hopkins Electrical Engineering and 
Cmputer Science Technical Report, Jhu/Eecs - 86/07 


Uno dei sistemni piu interessanti é sicu- 
ramente NETtalk (24), una rete neurale 
che impara a leggere in inglese parten- 
do da esempi che le vengono presen- 
tati durante la fase di apprendimento. 
NETtalk si caratterizza per la sua sem- 
plicita (v, fig. 9): la rete é formata da tre 
livelti di neuroni, il primo dei quali rice- 
ve un frammento della frase da legge- 
re, composto da 7 lettere, codificato in 
base alle proprie caratteristiche foneti- 
che. Lo strato intermedio é formato da 
80 neuroni e quello finale da 5 neuroni 
i) cui stato codifica binariamente uno di 
54 possibili fonemi, che rappresentano 
la pronuncia della lettera centrale nella 
stringa di 7 lettere in ingresso. | neuroni 
in uscita sono Gonnessi a un sintetizza- 
tore vocale cosicché e€ possibile ascol- 
tare la voce simulata, Il sistema é stato 
implementato, in C, su un Vax 780, e rie- 
sce a leggere circa 2 caratteri ai secon- 
do, L’algoritmo di apprendimento usato, 
del tipo guidato, é la regoia della modifi- 
cata. La rete é stata addestrata su di un 
campione di 1000 parole ingtesi cons'- 
derate rappresentative. Dopo un adde- 
stramento in cui venivano presentate al- 
la rete frasi differenti formate con le 1000 
parole in questione, per un totale di al- 
cune decine di migliaia di parole, la re- 
te riusciva a pronunciare frasi anche 
nuove con una notevole accuratezza: il 
fonema corretto viene pronunciato in piu 
de! 90% dei casi. II risultato é una sinte- 
si vocale perfettamente intelleggibile, 
che riflette peraltro t'accento della voce 


usata durante l'addestramento... Duran- 
te l'addestramento la voce sintetizzata 
inizia balbettando in maniera inintelleg- 
gibile (analogamente a quanto farebbe 
un bambino); successivamente comin- 
cia a distinguere le consonanti dalle vo- 
cali per finire poi col produrre un parla- 
to di buona qualita. 

Un altro sistema linguistico interessan- 
te & quello descritto da Rumhelart e 
McLelland (25), in cui una rete, rimar- 
chevole per la sua semplicita, impara- 
va a formare correttamente ii passato 
dei verbi inglesi partendo dall'infinito. La 
rete, che veniva addestrata con un al- 
goritmo guidato. imparava, dopo una 
prima frase in cui coniugava tutti i verbi 
in -ed, a trattare correttamente perfino 
fe eccezioni. Le prestazioni del sistema 
sono panticolarmente interessanti anche 
alla luce del fatto che si tratta di una re- 
te dalla topologia molto semplice, sen- 
za unita nascoste. 


TECNOLOGIA 


Uno dei limiti alla diffusione della neu- 
roinformatica é |'elevata quantita di risor- 





24 “NETtalk. a parallel network that learns to 
read aloud”, Terrence J. Sejnowski e Charles 
R. Rosenberg, The Johns Hopkins University 
Electrical Engineering and Computer Science 
Technical Report Jnu/Eecs-86/01, 1986 


25 Nel capitolo 18 de! volume Parallel 
Distributed Processing (op. cit.) 
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se computazionall richieste per simula- 
re reti neurali sulle macchine commer- 
cialmente disponibili. 

Fino a oggi la quasi totalita della ricer- 
ca si é svolta con simulazioni su com- 
puter seriali, dove i tempi di esecuzio- 
ne crescono rapidamente al crescere 
del numero di neuroni (esponenzialmen- 
te nel caso di una rete omniconnessa). 
Utilizzando un superminicomputer mo- 
derno le reti simulabili sono limitate a di- 
mensioni complessive dell’ordine di 10% 
neuroni. 

Una soluzione parziale al problema pud 
essere rappresentata dall'uso di ‘acce- 
leratori neurali', ovvero di schede ag- 
giuntive concepite per velocizzare le 
operazioni tipiche delle simulazioni neu- 
rali, quali ta moltiplicazione matriciale. Al- 
cune di queste schede sono gia dispo- 
nibili sul mercato. 

Un‘altra possibilita per una pili efficien- 
te implementazione delle reti neurali é 
la simulazione su macchine ad architet- 
tura_intrinsecamente parallela (per 
esempio reti di Trasputers, Connection 
Machine). 

La simulazione delle reti neurali su ar- 
chitetture concepite per altri scopi rap- 
presenta comunque una soluzione ad 
interim. Perché la neuroinformatica ab- 
bia un futuro sara necessaria la realiz- 
zazione hardware di architetture ad hoc. 
Per evidenti ragioni di costo risutta im- 
plausibile la realizzazione di reti di una 
certa dimensione attraverso componenti 
discreti. La strada che viene per ora se- 
guita é quella della realizzazione di cir- 
cuiti Visi che implementino modelli neu- 
rali specifici. 

Dai laboratori della Belt sono usciti alcuni 
circuiti sperimentali che implementano 
una rete neurale, costituita da 54 neu- 
roni, omniconnessa, che pud essere 
configurata in maniera da essere utiliz- 
zata come una Cam, o come nucleo per 
alcune applicazioni di image proces- 
sing, con prestazioni interessanti (26) 
Circuiti pit grandi, da 256 neuroni, ba- 
sati sugli stessi principi, sono in fase di 
sperimentazione (27). Al California Insti- 
tute of Technology é@ molto attivo un 
gruppo (28) che sta realizzando imple- 
mentazioni Vlsi di sistemi sensori ispira- 
tia sensori biologici reali. In particolare 
essi stanno realizzando una sorta di re- 
tina artificiale Vlsi in cui i sensori, dispo- 
sti in una matrice bidimensionale, sono 
accoppiati a elementi che preprocessa- 
no l'immagine in loco. In una delle im- 
plementazioni @ stata costruita una rett- 
na specializzata (come quella di certi 
animali) nella rivelazione di sorgenti in 
movimento: gli oggetti nel campo visi- 
vo della retina vengono rivelati solamen- 
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te se si muovono, e ne viene ewidenzia- 
to it bordo. L'utilizzo di sensori di que- 
sto tipo, che funzionano in tempo reale, 
semplifica enormemente it compito di 
eventuali sistemi di classificazione che 
richiedono I'utilizzo di dati sensoriali in 
ingresso. 

Un altro approccio per |"implementazio- 
ne di reti neurali 6 quello di utilizzare, 
piuttosto che circuiti integrati, sisteni ot- 
tici (29). Tali implementazioni si basano 
sul fatto che una rete neurale richiede 
per il proprio funzionamento alcune ope- 
tazioni elementari, in particolare la mol- 
tiplicazione matriciale e il calcolo di fun- 
zioni di soglia. Tali funzioni possono es- 
sere implementate facilmente con tec- 
nologia ottica. L'idea di fondo é quella 
di far passare un fascio di luce compo- 
sto da fascetti paralleli la cui intensita co- 
difica il vettore iniziale, attraverso una 
maschera la cui densita in un determi- 
nato punto codifica it valore dell'elemen- 
to di matrice. L'intensita det fascio do- 
pol'attraversamento della maschera vie- 
ne cambiata in maniera proporzionale 
all'intensita originaria e alla densita del- 
la maschera, effettuando cosi ta molti- 
plicazione. 

ll fascio viene successivamente focaliz- 
zato, ottenendo un'intensita totale ugua- 
le alla somma dei fascett filtrati dalla ma- 
schera, realizzando cosi l'operazione di 
mottiplicazione matriciale in un tempo in- 
dipendente dalle dimensioni detla ma- 
trice. L'operazione cosi effettuata, es- 
sendo fondamentaimente analogica. 
non raggiunge la precisione tipica del- 
le operazioni digitali. Si tratta comunque 
di una precisione sufficiente per molte 
applicazioni neurali. 


CONCLUSIONI 


Nella prima parte di questo articolo ab- 
biamo definito l'obiettivo fondamentale 
della neuroinformatica come il tentativo 
di scoprire i meccanismi base dell’inte!- 
ligenza biologica per poi simularli su 
hardware elettronico. Oggi, a pil di qua- 
rant’anni dalle ricerche pioneristiche di 
McCulloch e Pitt, fino a che punto que- 
sti obiettivi sono stati raggiunti? 

Nella sua forma attuale la neuroinforma- 
tica @ una scienza ancora giovane. Si 
pud affermare infatti che fino al lavoro 
di Hopfield nel 1982 ben pochi erano i 
fisici e i matematici, e ancor meno gli in- 
formatici, disposti a prenderla sul serio. 
Dal 1982 a oggi sono stati prodotti dei 
modelli assai interessanti. Le prestazio- 
ni di sistemi come NetTalk dimostrano 
infatti che esistono realmente delie classi 
di problemi dove te reti neuronali offro- 





No soluzioni pits semplici e pili eleganti 
di quelle prospettate dall'intelligenza ar- 
tificiale ‘classica’. Considerando il rapi- 
do progresso della tecnologia Visi e di 
quella ottica sembra ragionevole spera- 
re che entro i prossimi cinque anni sara 
possibile lo sviluppo di dispositivi spe- 
cializzati per uso come front end per cal- 
colatori di tipo tradizionale. Tali disposi- 
tivi potrebbero consentire di compiere 
dei significativi passi avanti in aree co- 
me l'optical character recognition, if ri- 
conoscimento di immagini, il content ad- 
dressable memory, l'elaborazione del 
linguaggio naturale. 
E evidente che se essa offrira soluzioni 
al genere di problemi appena accennati 
ja neuroinformatica assumera una cer- 
ta importanza nello sviluppo dell'infor- 
matica nel corso dei prossimi anni. E al- 
trettanto evidente tuttavia che le ambi- 
zioni dei principali proponenti della neu- 
roinformatica sono di altra natura: essi 
non mirano infatti a realizzare soluzioni 
auna gamma importante ma comunque 
limitata di problemi tecnologici bensi a 
proporre un nuovo paradigma, parago- 
nabile per importanza alle macchine <i 
Turing e Von Neumann. E alla luce di 
queste ambiziont che il loro lavoro va 
giudicato. 

Come si é gia visto, le macchine Turing 
e le reti neuronali sono, dal punto di vi- 
sta computazionale, equivalent. A livello 
teorico le macchine Turing e le reti neu- 
ronali si distinguono non per il dominio 
dei problemi che sono capaci di risol- 
vere bens! per |'efficienza con la quale 
risolvono particotari classi di problemi. 
Cosi i sostenitori della neuroinformatica 
ritengono che esiste una vasta gamma 
di problematiche dove le reti neuronali 
sono pit efficienti delle macchine Tu- 
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ting. Viceversa le critiche di Papert e 
Minsky, che ebbero un ruolo cosi impor- 
tante nel frenare le ricerche alla fine de- 
gli anni sessanta, si basano sull’esisten- 
za di problemi, facilmente accessibili ai 
metodi dell'informatica classica, dove i 
modelli neuronali offrono risposte soltan- 
to al costo di una esplosione combina- 
toriale del numero di connessioni utiliz- 
zate. Per i proponenti de! modello tradi- 
zionale si tratta di un limite evidente alle 
potenzialita del nuovo paradigma. 

Per molti filosofi non esistono limiti teo- 
ici all’intelligenza umana. Se questa po- 
sizione fosse corretta verrebbe a crear- 
si una distinzione fondamentale tra |'in- 
telligenza biologica, potenzialmente in- 
finita, e quella simulabile dalla neuroin- 
formatica, alcuni dei cui limiti sono inve- 
ce noti, In un paragrafo precedente si 
é osservato tuttavia come alcuni dei pro- 
blemi proposti da Papert e Minsky sia 
di difficile soluzione non soltanto per i 
‘perceptroni’ ma anche per la mente 
umana. In realta in molti domini (per 
esempio il calcolo matematico) il nostro 
cervello é infinitamente meno efficiente 
di una macchina Turing. Non per que- 
sto tuttavia si pud mettere in dubbio la 
superiorita intellettiva del cervello uma- 
no rispetto al computer. Si desume che 
non sempre un sistema ‘limitato’ va con- 
siderato inferiore a un ‘computer univer- 
sale’. 

Ad avwviso di chi scrive il vincolo fonda- 
mentale allo sviluppo della neuroinfor- 
matica é rappresentato oggi, non dalla 
nostra comprensione teorica dei limiti di 
alcuni modelli neuronali, bensi dal fatto 
che per la maggior parte dei modelli 
concepibili questa comprensione man- 
ca. Fino a oggi infatti tutti t risultati teori- 
ci disponibili si riferiscono a sistemi molto 
semplici come i perceptroni a un solo li- 
vello di Minsky e Papert o i sistemi di 
Hopfield. 
Le esigenze della analisi matematica 
hanno spesso imposto dei vincoll artifi- 
ciosi alla configurazione dei modell. 
Quando gli sperimentatori tentano quin- 
di di simulare modelli pit ‘naturali’, si 
mili per certi aspetti ai cervelli animal, 
essi si trovano privi di strumenti teorici 
Man mano che si passa da modelli di 
dimensioni limitate a modelli piu grandi 
diventa impossibile sperimentare tutte le 
configurazioni possibili. Lo sviluppo di 
reti neuronali su grande scala, capaci di 
svoigere un ruolo di primo piano nel fu- 
turo sviluppo dell’informatica, richiede 
quindi non solo ricerche empiriche ma 
soprattutto nuovi strumenti teorici. In 
questo contesto potrebbero dimostrar- 
si importanti dei progressi recenti nello 
studio del comportamento dei sistemi di- 
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namici non-linear. Altri interessanti con- 
tributi potrebbero provenire dalla neu- 
robiologia e della psicologia, i cui risul- 
tati consentirebbero di orientare le ricer- 
che in direzioni proficue. 

Considerando lo stato attuale delie ricer- 
che e nonostante la possibilita di svilup- 
pare dispositivi specializzati in alcuni 
particolari campi applicativi, gli aspetti 
piu interessant della neuroinformatica 
sono ancora oggi quelli teoretici. Non 
per questo tuttavia va sottostimata la sua 
importanza. La neuroinformatica offre in- 
fatti, per la prima volta dagli anni trenta, 
un paradigma radicalmente nuovo per 
la comprensione delle operazioni dell'in- 
telligenza e per la toro riproduzione su 
macchine create dall’uomo. Se le ipo- 
tesi sulle quali si basa si dimostreranno 
vere, esse non potranno non esercitare 
un profondo effetto sul futuro sviluppo 
dell' informatica — e forse non solo sul- 
l'informatica. @ 


BIBLIOGRAFIA 


“Perceptrons’’, M.L. Minsky e Seymour 
A. Papert, MIT Press, 1969, 1988 (edi- 
zione espansa). 

“L'homme neuronal’, Jean-Pierre 
Changeux, Piuriel, 1983. 

“Paralle! Distributed Processing’’, David 
E. Rumelhart, James L. McClelland e i! 
gruppo di ricerca PDP, MIT Press. 
1986. 

“Neural networks for computing'’, AIP 
Conference Proceedings 151, American 
Institute of Physics, 1986 
“Neurocomputing: Foundations of Re- 
search", a cura di James A. Anderson 
ed Edward Rosenfeld, MIT Press, 1988 
“Computer’’, numero monografico sul- 
la computazione neuronale, marzo 
1988 


Richard Walker, 1953. laureato 
all'Universita of Sussex, responsabile 
supporto sistemistico micro-intormatica, 
Unisys Div. Enti Pubblici, Roma: 

Fabio Favata, 1962, laureato all'Universita 
di Palermo, ricercatore presso Astrophisics 
Division, European Space Agency, Nordwijk 
Otanda 





Una guida indispensabile nella 
promozione e nella tecnica 
deile vendite, come trattare 
con la clientefa, come vincere 
la concorrenza, quali strategie 
e tattiche utilizzare per ottene- 
re un contratto, come riuscire a 
sviluppare una proposta vin- 
cente. 


MM8 Rona/d Tepper 
DIRECT MAILING 

Gestire con profitto le vendite 
per corrispondenza 
pp. 270 

Cod. M726 


E Ia biografia di Chase Revel, 
uno dei pit grandi geni ameri- 
cani nel campo del mailing. 
Come ha fatto fortuna, come 
"ha persa e poi ritrovata, le 
strategie che ha adottato, co- 
me ha saputo anticipare le ten- 
denze de! mercato e adattarle, 
trasformandole in capitale. 


Lire 35.000 





